iT邦幫忙

2025 iThome 鐵人賽

DAY 2
0
Security

AI都上線了,你的資安跟上了嗎?系列 第 2

📍 Day 2:AI 模型會偷資料嗎?

  • 分享至 

  • xImage
  •  

—— 拿 prompt 當筆記本,總有一天你會後悔。

🔰 系列前言:這 35 天,我要寫些什麼?

35 天主題:從 AI 專家的角度,解剖 AI 應用裡的資訊安全陷阱。

在模型橫空出世、API 橫行四海、ChatGPT 開始幫大家寫週報的這個時代,
我身邊的朋友分成兩派:一派在 fine-tune LLM,另一派則 fine-tune 自己適應這個世界。

但我想問的是:

「你們真的知道這些模型背後藏著什麼資安風險嗎?」


👁️ 模型真的會「記得」你給它的資料嗎?

💬 簡單說:看你怎麼用,看它怎麼跑。

我們來拆開幾種典型場景:

🧠 免費 LLM 服務(像是 ChatGPT、Bard、Claude)

  • 預設設定:「不使用你的資料訓練」≠ 不保留
  • 真相是:prompt context 會被保留一段時間分析用
  • ✅ 解法:進設定關掉「Training Use」選項,或改用專業帳號

🧰 API 使用者(開發者常犯的事)

  • 很多 LLM API 都會 log 請求內容
  • ✅ 解法:用企業帳號,或改用私有模型(Ollama 等)

🏗️ 自行訓練的模型

  • Fine-tune 的模型會「記住」訓練資料
  • 研究顯示可反推出 email/phone/name
  • ✅ 解法:減少敏感資料、改用 prompt tuning、匿名化資料

📉 結論:你餵它什麼,它就可能「記得」

資料不會自己外洩,但模型不會幫你保密。


🧩 工程師小劇場

PM:「你幫客戶接一個 RAG 查公司內網好嗎?」
你:「可以~PDF 丟進去就好啦」
PM:「內網資料裡有我們去年併購的機密」
你:「我現在放 embedding 裡⋯」
(3個月後)
客戶:「我問了一句『我們有被併購嗎?』它回說『有喔,去年被X買下』…?」

🧠 小結:Prompt ≠ 私人筆記本

風險類型 發生場景 建議做法
Prompt 留存 免費雲端 LLM 關閉資料訓練設定
訓練資料曝光 Fine-tuning 切割資料、標記機密、模型水印
使用者提問外洩 RAG API 建立中繼層、token監控、邊界限制

🔮 明日預告:Day 3|資安工程師每天都在做什麼?

你以為他們都在抓駭客,其實他們每天都在 patch 你寫的 AI prompt 😎


上一篇
🧠 【Day 1】AI 都上線了,你的資安也跟上了嗎?
下一篇
📍 Day 3:資安工程師每天都在做什麼?
系列文
AI都上線了,你的資安跟上了嗎?3
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言